Từ Huệ người ở huyện Trường Thành (長城) thuộc Hồ Châu (nay là huyện Trường Hưng, thành phố Hồ Châu của tỉnh Chiết Giang), xuất thân danh môn Trường Thành Từ thị (長城徐氏), là một nhánh của Đông Hải Từ thị (東海徐氏) thuộc Đông Hải quận (東海郡; nay là huyện Đàm Thành, thành phố Lâm Nghi của tỉnh Sơn Đông)[2].

Đây là một dòng họ quý tộc rất lâu đời, đến đời của Từ Huệ là đời thứ 4, hậu duệ của Từ Nguyên hầu Từ Văn Chỉnh (徐文整) thời Nam Lương. Tằng tổ là Thái thú Thủy An Từ Tổng Chi (徐综之) thời Nam Trần. Tổ phụ là Từ Phương Quý (徐方贵), là Huyện lệnh của huyện Lâm Chân, Diên Châu; tổ mẫu Giang Hạ Hoàng thị (江夏黄氏), là con gái Hoàng Công thời Nam Trần, được tặng làm Thẩm Quốc Trung Vũ công (沈国忠武公), chức Tư không[3]. Cha là Từ Hiếu Đức (徐孝德), đương giữ chức Thứ sử Quả Châu (nay là Nam Sung, thuộc tỉnh Tứ Xuyên). Đương thời, Từ Hiếu Đức cũng là người hay chữ, có văn tập gồm 10 quyển là Từ Hiếu Đức tập (徐孝德集), đều có ghi chép trong Cựu Đường thư phần Kinh tịch chí (经籍志) và Tân Đường thư phần Nghệ văn chí (艺文志). Mẹ bà là Khương thị (姜氏), vì có con gái vào cung nên được phong làm Chính tứ phẩm "Kim Thành quận quân" (金城郡君). Trong nhà bà có một người anh trai tên Từ Tề Anh (徐齐婴), làm Huyện lệnh của huyện Phù Phong thuộc Kỳ Châu; em trai tên Từ Tề Đam (徐齐聃), giữ chức "Tây Thai xá nhân" (西台舍人), về sau tặng làm Thứ sử Tứ Châu[4]; em út Từ Tề Trang (徐齐庄), làm "Điện trung Thượng thực Trực tưởng" (殿中尚食直长). Ngoài ra, bà còn có một người em gái Từ thị, sau là Tiệp dư của Đường Cao Tông Lý Trị. Cháu trai bà, tức Từ Kiên (徐坚), con trai Từ Tề Đam, về sau cũng có công trạng, vào đời Đường Huyền Tông là trọng thần, được tặng "Thái tử Thiếu bảo" (太子少保).

Từ nhỏ Từ Huệ đã sớm hiểu biết, 5 tháng biết nói, 4 tuổi đã thông thạo những sách như Mao Thi, Luận ngữ, 8 tuổi thuộc được thơ văn. Có lần, Từ Hiếu Đức sai Từ Huệ vịnh lại bài thơ Ly tao của Khuất Nguyên, bà lập tức viết ra bài "Tiểu sơn thiên" (小山篇), viết rằng: 「"Ngưỡng u nham nhi lưu phán, phủ quế chi dĩ ngưng tưởng. Tương thiên linh hề thử ngộ, thuyên hà vi hề độc vãng?"; 仰幽巖而流盼，撫桂枝以凝想。將千齡兮此遇，荃何為兮獨往？」. Cha bà vô cùng kinh ngạc. Lúc đó cả ba người nhà họ Từ đều giỏi văn thơ, nên người đời so sánh với nhà họ Ban của thời Hán. Từ Huệ còn giỏi thi ca, cầm kỳ họa phẩm, sau khi đọc được thơ của Từ Huệ thì biết không thể che giấu, truyền bá ra ngoài[5][6].